临界|峰值_20210616日千万级流量架构优化策略

篇首语：本文由编程笔记#小编为大家整理，主要介绍了20210616 日千万级流量架构优化策略相关的知识，希望对你有一定的参考价值。

千万级流量架构策略

了解现状&＃xff1a;架构&＃xff0c;业务特点&＃xff1b;

应急方案&＃xff1a;改造时间短&＃xff0c;可以短期支撑住访问压力。

隔离热点&＃xff0c;单独部署。就算热点挂了&＃xff0c;也不影响其他功能。

峰值QPS&＃61;&＃xff08;日总PV数*80%&＃xff09;/&＃xff08;日总秒数*20%&＃xff09; 这只是理论值

pv*0.8/17280 pv/21600 每秒的峰值

每天千万级流量

1000万/21600&＃61;463QPS/s

如果每台机器100QPS

463/100 &＃61; 5台机器。

我的单机可以支撑日千万级流量访问&＃xff0c;但是 当前服务100QPS/S

核心的架构策略&＃xff1a;

拆分&＃xff0c;队列&＃xff0c;缓存&＃xff0c;降级&＃xff0c;限流。

使用队列来解决分布式事务的问题。

布隆过滤器&＃xff0c;海量恶意攻击很有效。

无论是哪种限流策略&＃xff0c;算法才是最重要的。

一&＃xff0c;做架构的核心&＃xff1a;拆分。

1&＃xff0c;架构演进过程&＃xff1a;

各自独立&＃xff1a;各个服务独立出来&＃xff0c;要不然会相互争抢资源&＃xff1b;

集群化&＃xff1a;单节点已经不能支持业务请求&＃xff0c;需要加派人手。

分布式架构&＃xff1a;集群力度太粗&＃xff0c;改成分布式架构&＃xff0c;分工越细效率越高。

多集群部署&＃xff1a;一套系统很难支撑太高的并发量&＃xff0c;所以进行多集群部署。

异地分布式集群架构&＃xff08;易地部署&＃xff09;&＃xff1a;为了照顾全国各地的用户&＃xff0c;甚至国外的用户&＃xff0c;需要异地部署。

集群和分布式的区别

每个节点负责的工作都一样&＃xff1b;分布式&＃xff0c;大家分工不同&＃xff0c;每个人做自己的事。多个人协同干一个活。

2&＃xff0c;拆分的维度&＃xff1a;系统维度&＃xff0c;功能维度&＃xff0c;读写维度这三个维度进行拆分。

二&＃xff0c; 队列的核心&＃xff1a;异步 平缓的处理。

消息队列的使用案例&＃xff1a;

1&＃xff0c;流量削峰和解耦&＃xff1a;让请求排队&＃xff0c;一个一个去处理。

让同步请求变成异步请求

2&＃xff0c;使用可靠消息模式解决分布式事务问题。

可靠消息模式&＃xff1a;

1&＃xff09;发送方保证消息不丢失&＃xff1b;

2&＃xff09;接收方保证消息不重复消费&＃xff1b;

使用可靠消息模式保证最终一致性。因为是远程调用&＃xff0c;所以就要考虑失败的可能性。

积分系统进行去重判断&＃xff0c;保证幂等性。

添加一个判重表&＃xff0c;进行业务逻辑处理之前先从判重表中查询一下。

积分表&＃xff0c;判重表。

总结&＃xff1a;

1&＃xff09;订单系统失败了&＃xff0c;不会发消息&＃xff0c;积分系统也不用执行。

2&＃xff09;即使下游服务失败了&＃xff0c;也可以通过重试解决&＃xff0c;不需要回滚。

3&＃xff09;可靠消息模式是处理分布式事务的常用模式。

三&＃xff0c;缓存

缓存类型&＃xff1a;

1&＃xff09;客户端缓存&＃xff1a;浏览器&＃xff0c;App 客户端&＃xff1b;

2&＃xff09;网络&＃xff1a;CND缓存&＃xff08;静态资源缓存&＃xff0c;减轻网站访问压力&＃xff0c;提升用户体验&＃xff1b;CDN按照流量收费&＃xff09;

3&＃xff09;接入层&＃xff1a;nginx代理缓存。

4&＃xff09;应用层&＃xff1a;Redis缓存。

缓存读写策略

无论先更新缓存还是先更新数据库&＃xff0c;数据库里的数据和缓存里的数据不一致了。不是原子操作&＃xff0c;没有控制并发。

 缓存组件同步写入

缓存服务器的典型问题&＃xff08;原因和解决方案&＃xff09;

缓存雪崩原因&＃xff1a;大量缓存同时过期&＃xff1b;缓存服务器故障&＃xff1b;

使用分布式缓存&＃xff0c;它本身有高可用机制&＃xff0c;并且数据是分片存储。

1&＃xff09;雪崩&＃xff1b;使用高可用的分布式缓存&＃xff0c;有效期加随机值&＃xff0c;热点数据不过期&＃xff0c;加锁或者排队读数据库。

2&＃xff09;穿透&＃xff1b;缓存空值&＃xff0c;布隆过滤器&＃xff1b;

缓存空值&＃xff0c;对数据库可以起到保护作用。 并发情况下。

但是缓存空置有局限。

在不查询数据库的情况下就知道此id是否存在。

布隆过滤器&＃xff1a;用来判断一个元素是否在一个集合中。

对数组长度进行取模。数组中的元素只有0和1.

如何使用布隆过滤器来解决缓存穿透问题呢&＃xff1f;

1&＃xff0c;写入数据时&＃xff0c;更新布隆过滤器。如何更新布隆过滤器&＃xff1f;

2&＃xff0c;查询时先查询布隆过滤器。

布隆过滤器的问题&＃xff1a;

1&＃xff0c;由于hash冲突&＃xff0c;存在误判&＃xff1b;例如hash&＃xff08;张三&＃xff09;&＃61;4&＃xff0c;hash&＃xff08;赵四&＃xff09;&＃61;4

可以使用多个hash函数一起计算&＃xff0c;提高精度。多个hash的值都设置为1.

2&＃xff0c;不能删除。可以使用int数组进行计数。一般场景中不会存在删除。

四&＃xff0c;降级

功能降级&＃xff1a;电商平台很普遍的推荐功能&＃xff0c;可以提升销量&＃xff0c;但不是购物的核心流程。在系统压力大的时候&＃xff0c;可以降级&＃xff0c;改为默认内容。

写服务降级

降级的方式分为&＃xff1a;自动降级和手动降级

自动降级&＃xff1a;超时降级&＃xff0c;限流降级&＃xff0c;统计失败次数降级。

超时降级需要配置好超时时间和重试次数。

人工降级&＃xff1a;

通过修改配置参数活配置文件&＃xff0c;通知服务降级&＃xff1b;就像一个总闸&＃xff0c;可以预先把非核心的功能关闭&＃xff1b;也可以在监控系统发现问题时人工介入。

配置文件实现开关配置&＃xff1a;适用于系统部署结构简单的场景&＃xff1b;系统自动监控配置文件的变化&＃xff0c;配置文件变化后自动载入。

配置文件中定义了各个服务的开关。

降级后的处理方案&＃xff1a;

使用默认值&＃xff0c;兜底数据&＃xff0c;缓存数据&＃xff0c;排队页面&＃xff0c;无货通知&＃xff0c;错误页面等

五&＃xff0c;限流&＃xff08;系统架构核心技术&＃xff0c;设计架构要考虑到限流&＃xff0c;高可用&＃xff09;

限流&＃xff1a;系统访问量达到一定的阈值&＃xff0c;采取以下措施&＃xff1a;拒绝处理&＃xff0c;延迟处理&＃xff0c;部分拒绝等。

为什么要进行限流&＃xff1f;

1&＃xff09;系统不崩溃&＃xff08;A系统&＃xff0c;1000次请求正常&＃xff0c;2000次请求很慢很卡&＃xff0c;5000次请求直接宕机&＃xff09;

2&＃xff09;确保系统的高效运行。高可用

高并发三大利器&＃xff08;保护系统的手段&＃xff09;&＃xff1a;缓存&＃xff0c;限流&＃xff0c;降级。

缓存&＃xff1a;提高系统的访问速度&＃xff0c;增大系统处理能力。

降级&＃xff1a;暂时屏蔽&＃xff0c;过后打开。

限流&＃xff1a;对稀缺资源限制请求量&＃xff0c;限速&＃xff0c;拒绝服务。保证系统的可用性。

常用限流算法

1&＃xff09;固定时间窗口算法&＃xff1b;计数器算法&＃xff0c;实现简单&＃xff1b;性能好

2&＃xff09;滑动时间窗口算法&＃xff1b;

3&＃xff09;令牌桶算法&＃xff1b;

4&＃xff09;楼痛算法&＃xff1b;&＃xff08;会误杀请求&＃xff09;

红先表示阈值&＃xff0c;超过阈值就被丢弃。

临界问题&＃xff1a;1分钟访问100次&＃xff0c;变成10秒钟访问两百次。 这两百次请求全部发生在临界时刻的前后五秒。

滑动时间窗口算法

不仅会对请求数进行记录还会记录每个请求的时间点。

比如每秒限制三个请求&＃xff1a;

1&＃xff09;当前时间窗口内&＃xff0c;是否超过三次请求

2&＃xff09;是否处于下一个时间窗口&＃xff1f;时间窗口开始滚动。第二个请求的时间变成第一位。新的时间窗口从9:00:01.50开始。

时间窗口持续滑动&＃xff0c;流量看起来比较平稳

如果令牌桶空了&＃xff0c;尝试获取令牌的请求会被丢弃&＃xff08;流量激增的时候&＃xff09;。

1&＃xff09;以固定速率放入令牌&＃xff0c;直到桶满&＃xff1b;令牌桶有容量限制

2&＃xff09;请求是否获取到令牌&＃xff0c;如果获取到令牌继续执行&＃xff1b;如果获取令牌失败&＃xff0c;则限制请求。

不存在临界问题&＃xff1b;比较灵活&＃xff0c;每次可以获取一个令牌&＃xff0c;也可以获取5个令牌。

限流形式&＃xff1a;单机限流&＃xff08;服务实例级别的限流&＃xff09;&＃xff0c;分布式限流&＃xff08;对集群统一限流&＃xff1b;集群级别的限流&＃xff09;。